Tổ tiên của Cao Ngạc ở huyện Thiết Lĩnh, tỉnh Liêu Ninh. Thời niên thiếu, ông thích đi chơi với con gái, là người "Thiên tài minh mẫn, ngộ sự như chuỳ thoát dĩnh, vô sở bất biện" (Tài năng thiên bẩm minh mẫn, làm việc như chuỳ tróc lúa, không nơi nào là không đủ)[1].

Ông giỏi về kinh sử, văn bát cổ, thi từ, tiểu thuyết, hát tuồng, hội họa, "kim thạch chi học diệc mỹ bất thông hiểu" (văn bia không có gì là không thông hiểu). Ông nóng lòng muốn tiến thân lập công danh, nhưng đi thi không đỗ. Năm Càn Long thứ 53 (1788), Cao Ngạc thi Hương đỗ cử nhân. Năm Càn Long thứ 60 (1795), ông thi Đình đỗ tiến sĩ tam giáp, lần lượt làm chức Lịch quan nội các trung thư, Nội các thị độc.

Năm Gia Khánh thứ sáu (1801), đảm nhiệm việc khảo xét kỳ thi Hương và khảo thí quan lại. Năm thứ 14 (1809), Thị độc tuyển ông làm chức Giang Nam đạo Giám sát ngự sử. Đến năm thứ 18 (1813), Cao Ngạc được thăng chức Hình khoa cấp sự trung, làm quan được đánh giá là "tháo thủ cẩn, chính sự cần, tài cụ trưởng" (giữ gìn cẩn trọng, chính sự cần mẫn, tài năng đứng đầu).